iT邦幫忙

2025 iThome 鐵人賽

0
生成式 AI

科學的盡頭是玄學?AI占卜小助手與知識庫驗證系列 第 31 篇

Day 31. 番外篇:來都來了就還是測試一下

  • 分享至 

  • xImage
  •  

既然都測試了,就順便更新一下測試紀錄。


Bedrock (共用 Profile) -> Claude 3.7 Sonnet

  • max_tokens:1200
    回應時間:35-40 sec
    回應品質:高
    完整回應內容:每日占卜測試

Anthropic -> Claude 3.7 Sonnet

  • max_tokens:1200
    回應時間:20-23 sec
    回應品質:高
    完整回應內容:每日占卜測試

  • max_tokens:800
    另外調整 system_role 降低字數
    回應時間:15-28 sec
    回應品質:高
    完整回應內容:每日占卜測試

Anthropic -> Claude 3.5 Haiku

  • max_tokens:800
    回應時間:9-12 sec
    回應品質:中
    完整回應內容:每日占卜測試

  • max_tokens:800
    加入字數和風格要求
    回應時間:10-13 sec
    回應品質:中 (無顯著提升)
    完整回應內容:每日占卜測試


比較表

測試項目 模型與通道 max_tokens 回應時間 回應品質 備註
Bedrock(共用 Profile) Claude 3.7 Sonnet 1200 35–40 sec 高 結果
Anthropic API Claude 3.7 Sonnet 1200 20–23 sec 高 結果
Anthropic API Claude 3.7 Sonnet 800 15–28 sec 高 結果
Anthropic API Claude 3.5 Haiku 800 9–12 sec 中 結果
Anthropic API(含風格提示) Claude 3.5 Haiku 800 10–13 sec 中(無明顯提升) 結果

花費

總共測試次數約在 20-25 次,花費金額如下:
https://ithelp.ithome.com.tw/upload/images/20251015/20168437CPg3xlPI9U.png


小結

  • Prompt 越長、文字越多,回應時間就越久;縮短字數能有效加速
  • 多餘的 max_tokens 會導致回應速度變慢
  • Haiku 可以透過 prompt 調整風格,但難以和 3.7 Sonnet 相提並論,且調整過頭會導致內容變得抽象、失真
  • 在 Lambda 上測試會受到冷啟動影響,需要自行排除
  • 如果只是自己做來玩,5塊美金就可以玩很久

上一篇
Day 30. 計畫永遠趕不上變化
系列文
科學的盡頭是玄學?AI占卜小助手與知識庫驗證 共 31 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言